【SEO技巧】淺談:TF-IDF與余弦相似性的應(yīng)用
相信很多朋友一看到這個文章的標題:《【SEO技巧】淺談:TF-IDF與余弦相似性的應(yīng)用》,可能就會感到頭大。的確,這個標題看上去好像很復(fù)雜,其實我要談的是一個很簡單的問題:自動提取關(guān)鍵詞。具體內(nèi)容如下:
有一篇很長的文章,我要用計算機提取它的關(guān)鍵詞(Automatic Keyphrase extraction),完全不加以人工干預(yù),請問怎樣才能正確做到?
這個問題涉及到數(shù)據(jù)挖掘、文本處理、信息檢索等很多計算機前沿領(lǐng)域,但是出乎意料的是,有一個非常簡單的經(jīng)典算法,可以給出令人相當滿意的結(jié)果。它簡單到都不需要高等數(shù)學(xué),普通人只用10分鐘就可以理解,這就是我今天想要介紹的TF-IDF算法。
讓我們從一個實例開始講起。假定現(xiàn)在有一篇長文《中國的蜜蜂養(yǎng)殖》,我們準備用計算機提取它的關(guān)鍵詞。
一個容易想到的思路,就是找到出現(xiàn)次數(shù)最多的詞。如果某個詞很重要,它應(yīng)該在這篇文章中多次出現(xiàn)。于是,我們進行"詞頻"(Term Frequency,縮寫為TF)統(tǒng)計。
結(jié)果你肯定猜到了,出現(xiàn)次數(shù)最多的詞是----"的"、"是"、"在"----這一類最常用的詞。它們叫做"停用詞"(stop words),表示對找到結(jié)果毫無幫助、必須過濾掉的詞。
假設(shè)我們把它們都過濾掉了,只考慮剩下的有實際意義的詞。這樣又會遇到了另一個問題,我們可能發(fā)現(xiàn)"中國"、"蜜蜂"、"養(yǎng)殖"這三個詞的出現(xiàn)次數(shù)一樣多。這是不是意味著,作為關(guān)鍵詞,它們的重要性是一樣的?
顯然不是這樣。因為"中國"是很常見的詞,相對而言,"蜜蜂"和"養(yǎng)殖"不那么常見。如果這三個詞在一篇文章的出現(xiàn)次數(shù)一樣多,有理由認為,"蜜蜂"和"養(yǎng)殖"的重要程度要大于"中國",也就是說,在關(guān)鍵詞排序上面,"蜜蜂"和"養(yǎng)殖"應(yīng)該排在"中國"的前面。
所以,我們需要一個重要性調(diào)整系數(shù),衡量一個詞是不是常見詞。如果某個詞比較少見,但是它在這篇文章中多次出現(xiàn),那么它很可能就反映了這篇文章的特性,正是我們所需要的關(guān)鍵詞。
用統(tǒng)計學(xué)語言表達,就是在詞頻的基礎(chǔ)上,要對每個詞分配一個"重要性"權(quán)重。最常見的詞("的"、"是"、"在")給予最小的權(quán)重,較常見的詞("中國")給予較小的權(quán)重,較少見的詞("蜜蜂"、"養(yǎng)殖")給予較大的權(quán)重。這個權(quán)重叫做"逆文檔頻率"(Inverse Document Frequency,縮寫為IDF),它的大小與一個詞的常見程度成反比。
知道了"詞頻"(TF)和"逆文檔頻率"(IDF)以后,將這兩個值相乘,就得到了一個詞的TF-IDF值。某個詞對文章的重要性越高,它的TF-IDF值就越大。所以,排在最前面的幾個詞,就是這篇文章的關(guān)鍵詞。
下面就是這個算法的細節(jié)。
第一步,計算詞頻。
考慮到文章有長短之分,為了便于不同文章的比較,進行"詞頻"標準化。
或者
第二步,計算逆文檔頻率。
這時,需要一個語料庫(corpus),用來模擬語言的使用環(huán)境。
如果一個詞越常見,那么分母就越大,逆文檔頻率就越小越接近0。分母之所以要加1,是為了避免分母為0(即所有文檔都不包含該詞)。log表示對得到的值取對數(shù)。
第三步,計算TF-IDF。
可以看到,TF-IDF與一個詞在文檔中的出現(xiàn)次數(shù)成正比,與該詞在整個語言中的出現(xiàn)次數(shù)成反比。所以,自動提取關(guān)鍵詞的算法就很清楚了,就是計算出文檔的每個詞的TF-IDF值,然后按降序排列,取排在最前面的幾個詞。
還是以《中國的蜜蜂養(yǎng)殖》為例,假定該文長度為1000個詞,"中國"、"蜜蜂"、"養(yǎng)殖"各出現(xiàn)20次,則這三個詞的"詞頻"(TF)都為0.02。然后,搜索Google發(fā)現(xiàn),包含"的"字的網(wǎng)頁共有250億張,假定這就是中文網(wǎng)頁總數(shù)。包含"中國"的網(wǎng)頁共有62.3億張,包含"蜜蜂"的網(wǎng)頁為0.484億張,包含"養(yǎng)殖"的網(wǎng)頁為0.973億張。則它們的逆文檔頻率(IDF)和TF-IDF如下:
從上表可見,"蜜蜂"的TF-IDF值最高,"養(yǎng)殖"其次,"中國"最低。(如果還計算"的"字的TF-IDF,那將是一個極其接近0的值。)所以,如果只選擇一個詞,"蜜蜂"就是這篇文章的關(guān)鍵詞。
除了自動提取關(guān)鍵詞,TF-IDF算法還可以用于許多別的地方。比如,信息檢索時,對于每個文檔,都可以分別計算一組搜索詞("中國"、"蜜蜂"、"養(yǎng)殖")的TF-IDF,將它們相加,就可以得到整個文檔的TF-IDF。這個值最高的文檔就是與搜索詞最相關(guān)的文檔。
TF-IDF算法的優(yōu)點是簡單快速,結(jié)果比較符合實際情況。缺點是,單純以"詞頻"衡量一個詞的重要性,不夠全面,有時重要的詞可能出現(xiàn)次數(shù)并不多。而且,這種算法無法體現(xiàn)詞的位置信息,出現(xiàn)位置靠前的詞與出現(xiàn)位置靠后的詞,都被視為重要性相同,這是不正確的。(一種解決方法是,對全文的第一段和每一段的第一句話,給予較大的權(quán)重。)
下一次,我將用TF-IDF結(jié)合余弦相似性,衡量文檔之間的相似程度。
總結(jié):以上就是臺州網(wǎng)絡(luò)公司的小編通過網(wǎng)絡(luò)搜集整理的有關(guān)《TF-IDF與余弦相似性的應(yīng)用》的全部內(nèi)容,希望對從事SEO工作的朋友有所幫助。希望了解耕讀有關(guān)SEO技巧的朋友請收藏本站?!緔idnid.com】
「網(wǎng)站優(yōu)化」電話:13357671511
(備注:出于傳播知識、信息的目的,本站部分文章、圖片來源于網(wǎng)絡(luò),如有侵權(quán)請第一時間告知,小編核實后會立刻刪除,不接受、不回復(fù)任何形式的惡意索賠。)
- “百度信風算法“:全面解析與深···
- 「百度指數(shù)」深度解析百度指數(shù):···
- “丈育” 是個什么鬼???“丈···
- “天網(wǎng)算法” 守護網(wǎng)絡(luò)安全,警···
- 「抖音SEO入門」用網(wǎng)站 SE···
- 詳細聊聊2024 SEO 領(lǐng)域···
- 「SEO基礎(chǔ)入門」深入剖析百度···
- 「SEO基礎(chǔ)入門」你了解H標簽···
- 「SEO基礎(chǔ)入門」再談網(wǎng)站為什···
- 「SEO基礎(chǔ)入門」常見搜索引擎···
- 「SEO基礎(chǔ)入門」巧用技巧,增···
- 「SEO基礎(chǔ)入門」關(guān)鍵詞疊加:···
- 「SEO基礎(chǔ)入門」子域名與子目···
- 「SEO基礎(chǔ)入門」SEO 全析···
- 「SEO基礎(chǔ)入門」域名轟炸:搜···
- 「SEO基礎(chǔ)入門」SEO 常見···
- SEO建站:打造高效網(wǎng)絡(luò)平臺的···
- 「SEO基礎(chǔ)入門」SEO 入門···
- 「SEO基礎(chǔ)入門」404頁面是···
- 「SEO基礎(chǔ)入門」搜索引擎網(wǎng)站···